Sự nghiệp chính trị của Gillani bắt đầu từ thời ký thiết quân luật dưới thời Tướng Zia-ul-Haq và năm 1978. Ông gia nhập Ủy ban Lao động Trung ương của Liên đoàn Hồi giáo Pakistan (PML). Ông cũng từng là thành viên nội các trong chính phủ keo dài 3 năm của Thủ tướng Muhammad Khan Junejo, và giữ vai trò Bộ trưởng Nhà ở và Việc làm từ tháng 4 năm 1985 đến tháng 1 năm 1986 và giữ vị tí Bộ trưởng Đường sắt từ tháng 1 năm 1986 đến tháng 12 năm 1986.

Sau một thời gian ngắn ngừng tham gia Liên đoàn Hồi giáo Pakistan, Gillani gia nhập Đảng Nhân dân Pakistan (PPP) vào năm 1988 vì những khác biệt với Nawaz Sharif. Trong chính quyền của Benazir Bhutto giai đoạn 1988-1990, ông từng giữ chức Bộ trưởng Du lịch từ tháng 3 năm 1989 đến tháng 1 năm 1990 và Bộ trưởng Nhà ở và Việc làm từ tháng 1 năm 1990 đến tháng 9 năm 1990. Sau đó, trong nhiệm kỳ tiếp theo của chính phủ Bhutto, ông trở thành Chủ tịch Quốc hội vào tháng 10 năm 1993, và giữa vị trí đó cho tới tháng 2 năm 1997.

Ông cũng từng là thành viên Quốc hội dân cử trong nhieuf thời kỳ khác nhau của đơn vị thành phố Multan. Trong cuộc tổng tuyển cử năm 2008, ông đã đánh bại lãnh đạo của Liên đoàn Hồi giáo Pakistan (Q) (PML-Q), Sikandar Hayat Bosan với một khoảng cách lớn.